#Flat Minima

4 篇

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

尖锐度感知的模型合并与显著性恢复：面向LLM跨域序列推荐

🧭 生成式跨域推荐 · Sharpness-aware模型合并 ★ 深度解读

Zhejiang University · Hangzhou Dianzi University

提出SharpRec，用平坦最小值对齐和重尾分布恢复解决LLM跨域推荐的参数干扰与性能饱和

📌 工作参考价值（4 点）

跨域LoRA合并的“平坦化”训练：在电商多场景（如服饰→美妆）做LoRA微调时，引入sharpness-aware目标（式7），让各域权重主动趋向平坦损失盆地，可大幅减少合并后的负迁移，避免异购场景相互覆盖。
后融合非线性重参数化：合并多个领域LoRA后，对聚合参数施加元素级非线性变换（式12）恢复重尾分布，能有效激活被平均化淹没的领域专家特征，适用于多域融合后性能天花板被线性聚合锁定的业务。
轻量级实现：SharpRec无需改动推理架构，只需在微调和合并阶段加入SGA正则化和PSA变换，计算开销小，可直接嵌入现有LoRA微调流水线，适合大规模推荐系统快速迭代。
鲁棒的非重叠用户场景：在稀疏重叠用户（低至20%）下仍显著优于传统CDSR方法，为电商冷启动或新域扩展提供了更可靠的跨域知识迁移方案。

GenRec | 2026-07-28 | cs.IR | score 9/10

利用外推梯度增强锐度感知最小化训练

🧭 训练优化 · 锐度感知最小化改进

将外推梯度引入SAM形成EISAM，两步更新提升泛化且降低超参敏感度

📌 工作参考价值（4 点）

EISAM 可替换现有 SGD/Adam 训练推荐模型，尤其在数据稀疏或长尾场景下，平坦极小值带来的泛化提升可能直接改善冷启动物品的 AUC 和线上指标。
对扰动半径鲁棒的特性意味着超参调优成本更低，适合大规模工业模型快速迭代；可在召回、粗排等不同阶段复用同一组超参。
两步更新（预测步探索 loss 地形 + 扰动步微调）提供了一种可工程化的模式：在现有框架中可按 batch 交替执行，额外计算开销主要通过梯度累积补偿，易于分布式实现。
当业务模型出现明显过拟合（训练、线上指标背离）时，优先尝试 EISAM，因其不依赖特定架构，可直接融入 CTR 预估、多任务学习等现有训练流程。

Training | 2026-07-07 | cs.LG | score 6/10

Fisher几何锐度与SGD隐式偏向平坦极小值

🧭 优化理论 · 信息几何平坦性

Gauhati University

定义重参数化不变的Riemannian sharpness，证明SGD噪声偏向Fisher几何平坦解，并给出泛化界

📌 工作参考价值（4 点）

训练推荐模型时，可定期计算参数的 Fisher 锐度（对角 Fisher 近似即可）作为泛化监控指标，替代 Hessian 谱等欧氏平坦性指标，避免重参数化（如 embedding 缩放、特征归一化）导致的不可比问题。
优化器设计可借鉴梯度噪声协方差与 FIM 成正比的结构：在推荐模型分布式训练中，若按 FIM 方向调整噪声注入，可能自动偏向平坦解，改善尾部物品 / 冷启动场景的泛化。
若团队用 K‑FAC 等二阶优化，其 FIM 估计本身已接近重参数化不变，可作为 flatness‑aware 正则的天然基架，比欧氏 Hessian 更稳定。
注意：论文实验仅覆盖 CNN 与小数据集，直接迁移到大模型或搜索推荐需谨慎；但将 sharpness 纳入早停或 checkpoint 选择的思路可直接复用。

Training | 2026-06-18 | cs.LG | score 6/10

利用几何感知锐度最小化规避损失坑洼

🧭 优化训练 · 二阶预条件与 SAM 协同

Mila, Université de Montréal · Samsung – SAIL Montreal

LLQR+SAM 用慢更新的二阶预条件器增强 SAM 扰动，放大局部锐利方向的逃逸信号

📌 工作参考价值（4 点）

推荐模型泛化提升：用慢更新预条件器捕获损失景观的低频几何，结合快速 SAM 扰动可有效跳出局部尖锐极值点，适合 CTR/CVR 模型在大规模稀疏数据上避免过拟合。
大模型微调中的曲率修正：LLQR 的逐层线性二次型调节器预条件器可在 LoRA 等适配器微调中，以稀疏 EMA 方式注入，在不显著增加开销下改善平坦性，提升 OOD 泛化。
多任务学习与 Agent 策略优化：在 RL 或 Multi-Agent 训练中，不同任务梯度方向冲突常形成损失坑洼，采用二时标结构（慢几何学习 + 快曲率探测）可稳定训练，避免单个任务主导的尖锐解。
工程实现 trick：预条件器每数千步更新一次并维持 EMA，计算开销极小，适用于需长期训练的电商搜索、序列推荐模型，可与现有 SAM 变体（如 FSAM）直接插拔。

Training | 2026-05-15 | cs.LG | score 6/10